Benchmarking Google Embeddings 2 against Open-Source Models for Multilingual Dense Retrieval and RAG Systems
Google Embeddings 2 与开源模型的多语言稠密检索及 RAG 系统基准评测
🧭 多语言稠密检索模型评测 ★ 深度解读
University of Salerno · University of Bari
系统对比 GE2 与 5 款开源嵌入模型，揭示 GE2 质量最优但延迟高，mE5-L 在短文本几乎持平，LaBSE 完全不适合检索。
📌 工作参考价值（4 点）
- 绝对不要用 LaBSE 做检索：它的训练目标是跨语言句子对齐，与 top-k 相关性排序天然不兼容，BEIR 上 nDCG@10 仅 0.188，FiQA 上低至 0.069，比随机还差。当前仍有很多教程将其用作多语言检索 backbone，应立即替换为 mE5-L 或 GE2。
- 短文本、单语场景优先用 mE5-L：在意大利语短篇章（平均 60 token）上，mE5-L 的 nDCG@10=0.279，与 GE2 的 0.282 几乎无差异，但延迟仅 31 ms，比 GE2 快 7.5 倍，适合对 <100ms SLA 敏感的实时检索或在线推荐服务。
- 长文档或 query–doc 严重不匹配时切换 GE2：对于法律文本、医疗文献等长篇幅内容，GE2 的 2048 token 上下文窗口避免了 BERT 系模型的截断损失；其RETRIEVAL_QUERY/RETRIEVAL_DOCUMENT 的非对称条件编码能系统性地处理 query 与文档的词汇风格差异，在 TREC-COVID 等任务上优势明显（0.799 vs 0.702）。
- 分块策略可大幅简化：在短篇章体裁（平均 60 token）中，所有模型在 32 token 即达性能饱和，进一步增大分块无增益；可优先使用固定 256-512 token 的窗口，仅在 token 极度受限（16 token）时语义分块才有效果。这可以将分块调优成本降为零。